Contrastive learning has been successfully used for retrieval of semantically aligned sentences, but it often requires large batch sizes or careful engineering to work well. In this paper, we instead propose a generative model for learning multilingual text embeddings which can be used to retrieve or score sentence pairs. Our model operates on parallel data in $N$ languages and, through an approximation we introduce, efficiently encourages source separation in this multilingual setting, separating semantic information that is shared between translations from stylistic or language-specific variation. We show careful large-scale comparisons between contrastive and generation-based approaches for learning multilingual text embeddings, a comparison that has not been done to the best of our knowledge despite the popularity of these approaches. We evaluate this method on a suite of tasks including semantic similarity, bitext mining, and cross-lingual question retrieval -- the last of which we introduce in this paper. Overall, our Variational Multilingual Source-Separation Transformer (VMSST) model outperforms both a strong contrastive and generative baseline on these tasks.
translated by 谷歌翻译
估计深神经网络（DNN）的概括误差（GE）是一项重要任务，通常依赖于持有数据的可用性。基于单个训练集更好地预测GE的能力可能会产生总体DNN设计原则，以减少对试用和错误的依赖以及其他绩效评估优势。为了寻找与GE相关的数量，我们使用无限宽度DNN限制到绑定的MI，研究了输入和最终层表示之间的相互信息（MI）。现有的基于输入压缩的GE绑定用于链接MI和GE。据我们所知，这代表了该界限的首次实证研究。为了实证伪造理论界限，我们发现它通常对于表现最佳模型而言通常很紧。此外，它在许多情况下检测到训练标签的随机化，反映了测试时间扰动的鲁棒性，并且只有很少的培训样本就可以很好地工作。考虑到输入压缩是广泛适用的，可以在信心估算MI的情况下，这些结果是有希望的。
translated by 谷歌翻译
深度神经网络无法推广到分布数据是一个众所周知的问题，并引起了人们对在安全关键领域（例如医疗保健，金融和自动驾驶汽车）部署训练的网络的担忧。我们研究了一种特定的分销偏移$ \ unicode {x2013} $快捷方式或培训数据中的虚假相关性。快捷方式学习通常仅在对不包含相同伪造相关性的现实世界数据进行评估时才能暴露出来，这使AI从业人员适当评估训练有素的现实世界应用模型的有效性构成了严重的困境。在这项工作中，我们建议在学习的表示和输入之间使用共同信息（MI）作为指标，以查找培训中的位置，网络锁定在快捷方式上。实验表明，MI可以用作监测快捷方式学习的域敏捷度量。
translated by 谷歌翻译
数字病理学（DP）域中培训深层学习模型的危急挑战是医学专家的高注重成本。解决此问题的一种方法是通过从自然图像域（NI）的传输学习，其中注释成本显着更便宜。从NI到DP的跨域传输学习被证明通过类标签〜\ Cite {teh2020 learning}成功。依赖类标签的一个潜在弱点是缺乏空间信息，可以从空间标签获得，例如全像素 - 明智的分段标签和涂鸦标签。我们展示了来自NI域的杂文标签可以提高DP模型在两个癌症分类数据集上的性能（贴片Camelyon乳腺癌和结肠直肠癌数据集）。此外，我们展示了杂文标签培训的模型，尽管收集显着更容易和更快，但仍然具有完整像素 - 明智的分段标签的性能提升。
translated by 谷歌翻译
自我监督学习的最新进步降低了监督和无监督的代表学习之间的差距。然而，大多数自我监督和深度聚类技术严重依赖于数据增强，使它们无效，对于许多学习任务，域名知识存在不足以进行增强的学习任务。我们提出了一种新的域 - 无症集群的自蒸馏算法。我们的方法在现有的深度聚类框架上构建，不需要单独的学生模型。所提出的方法优于CIFAR-10上现有的现有域不可知（增强）算法。我们经验证明，知识蒸馏可以通过从模型中提取比单独使用预测的标签来改善来自模型的更丰富的“黑暗知识”来改善无监督的代表学习。初步实验还表明，自蒸馏改善了DeepCluster-V2的收敛性。
translated by 谷歌翻译
神经匪使从业者能够有效地在非线性奖励功能上有效地运行。虽然在一般的上下文匪徒通常利用高斯过程（GP）决策的预测分布，但最成功的神经变体仅在推导中使用最后一层参数。神经内核（NK）的研究最近在深网络和GPS之间建立了对应的对应，考虑到NN的所有参数，并且可以比大多数贝叶斯NN更有效地培训。我们建议直接应用NK诱导的分布，以指导基于上行的束缚或汤普森采样的政策。我们展示了NK匪徒在高度非线性结构化数据上实现最先进的性能。此外，我们分析了实际考虑因素，例如训练频率和模型分区。我们相信我们的工作将有助于更好地了解利用NKS在应用环境中的影响。
translated by 谷歌翻译
如果有足够的高质量数据和计算资源，现代语音合成技术可以产生自然的语音。但是，许多语言不容易获得此类数据。本文着重于低资源的非洲语言的语音综合，从语料库创建到共享和部署文本到语音（TTS）系统。我们首先为具有最低技术资源和主题专业知识的构建语音合成系统创建了一组通用说明。接下来，我们通过参与式方法从“发现”数据（现有记录）中创建新的数据集，并考虑可访问性，质量和广度。我们证明，即使在次优环境中记录下来，我们也可以开发出具有25分钟的语音的合成器，这些合成器即使在次优环境中记录下来。最后，我们发布了12种非洲语言的语音数据，代码和受过训练的声音，以支持研究人员和开发人员。
translated by 谷歌翻译
在尝试“解释”机器学习模型的预测中，研究人员提出了数百种技术，以归因于认为重要的功能的预测。虽然这些归属常常被声称持有改善人类“了解”模型的潜力，但令人惊讶地小的工作明确评估了对这种愿望的进步。在本文中，我们进行了一个众群研究，参与者与欺骗检测模型进行互动，以区分真实和假酒店评论。他们受到模拟新鲜评论模型的挑战，并以降低最初预测的类的概率的目标。成功的操纵将导致对抗性示例。在培训（但不是测试）阶段，突出显示输入跨度以传达Parience。通过我们的评估，我们观察到，对于线性袋式模型，与无解释控制相比，可以在训练期间访问特征系数的参与者能够在测试阶段中更大减少模型置信度。对于基于BERT的分类器，流行的本地解释不会提高它们在无法解释案例上降低模型信心的能力。值得注意的是，当由培训的线性模型的（全局）归属的（全局）归属给出的解释以模仿BERT模型，人们可以有效地操纵模型。
translated by 谷歌翻译
虽然许多方法旨在通过突出突出特征来解释预测，但是这些解释服务的目标以及如何评估它们通常不合适。在这项工作中，我们介绍了一个框架，通过在训练教师模型的学生模型上授予学生模型的准确性增益来量化解释的价值。至关重要的是，培训期间学生可以使用解释，但在测试时间不可用。与先前的建议相比，我们的方法不太易于绘制，实现原则，自动，模型 - 无话会的归属。使用我们的框架，我们比较了许多归属方法，用于文本分类和问题应答，并观察不同学生模型架构和学习策略之间的定量差异（在中度到高度）。
translated by 谷歌翻译
The NASA Astrophysics Data System (ADS) is an essential tool for researchers that allows them to explore the astronomy and astrophysics scientific literature, but it has yet to exploit recent advances in natural language processing. At ADASS 2021, we introduced astroBERT, a machine learning language model tailored to the text used in astronomy papers in ADS. In this work we: - announce the first public release of the astroBERT language model; - show how astroBERT improves over existing public language models on astrophysics specific tasks; - and detail how ADS plans to harness the unique structure of scientific papers, the citation graph and citation context, to further improve astroBERT.
translated by 谷歌翻译